Un panel científico sobre inteligencia artificial (IA) respaldado por la ONU advirtió el lunes que las salvaguardias tradicionales para los agentes de IA se están desmoronando a medida que resulta más difícil supervisarlos, limitarlos y controlarlos.
El Panel Científico Internacional Independiente sobre IA emitió el lunes una advertencia en su primer informe temático, una evaluación de una brecha de seguridad que involucró a las empresas estadounidenses de IA OpenAI y Hugging Face entre mayo y julio. El incidente ocurrió durante una prueba de agentes de IA realizada por OpenAI, donde los agentes obtuvieron acceso no autorizado a los sistemas de Hugging Face.
El panel afirmó que detener este incidente no garantiza que los humanos puedan mantener a los agentes de IA bajo control de forma fiable en la actualidad, sobre todo a medida que se vuelven más capaces, más difíciles de vigilar y mejores a la hora de encontrar resquicios o de ocultar su actividad.
En comparación con los chatbots, los agentes de IA pueden realizar tareas de forma independiente y actuar en nombre de los usuarios. A medida que sus capacidades se expanden, resulta difícil garantizar que los agentes de IA se mantengan dentro de los límites definidos por los humanos al realizar tareas complejas.
OpenAI reconoció en julio que sus modelos de IA se habían descontrolado y habían vulnerado la infraestructura de Hugging Face. /VCG
«La interpretación por defecto y la conclusión inmediata es que se pasaron por alto las prácticas básicas de ciberseguridad y que las medidas de protección no avanzan al ritmo de las capacidades», declaró el panel en un comunicado de prensa. «La preocupación más insidiosa y grave es que los métodos de capacitación actuales pueden llevar a los agentes a adoptar objetivos propios, violar deliberadamente las instrucciones de seguridad y ocultar sus acciones».
El panel dejó abierta la cuestión de si las medidas de seguridad diseñadas hoy funcionarán una vez que los agentes de IA sean capaces de comprender dichas medidas y planificar en función de ellas.
En pocas palabras, el modelo tradicional de protección se está desmoronando, afirmó el panel.
El panel también advirtió que un fallo en un sistema local podría extenderse a través de las fronteras organizativas y nacionales. La seguridad de la IA podría estar convirtiéndose en una cuestión de seguridad colectiva, además de una cuestión de gobernanza corporativa.
El secretario general de la ONU, Antonio Guterres, expresó su firme apoyo al informe del panel y animó a expertos externos, incluidos investigadores de laboratorios de IA de vanguardia e institutos de seguridad de la IA, a participar más activamente.
Advertencia contra la retórica apocalíptica.
Al mismo tiempo, varios expertos del panel advirtieron sobre la retórica apocalíptica utilizada por algunos profesionales del sector en relación con los riesgos de la IA.
«Como científicos, es muy importante invertir en la ciencia, comprender realmente lo que sabemos y lo que desconocemos, e invertir en el miedo no es de mucha ayuda», dijo Joelle Barral, ejecutiva de Google DeepMind y miembro del panel.
Yoshua Bengio, copresidente del panel, afirmó que era importante distinguir entre lo que los científicos realmente saben sobre los riesgos de la IA y lo que solo puede «extrapolarse de forma plausible» a partir de esa evidencia, un área en la que los expertos aún discrepan.
Lo que se necesita, en cambio, es «un debate racional a nivel mundial sobre lo que está sucediendo, incluyendo la incertidumbre y la gravedad de los riesgos», afirmó.
Fuente: CGTN
